Paddle Lite性能大提升！ARM CPU多场景端侧部署，直击AI产业应用
随着芯片技术和边缘计算技术的快速发展，AI 算法落地应用逐渐从服务器端走向移动端和边缘端。在 L1～L4 自动驾驶、无人机、智能家居、工业质检、新零售等行业场景中，怎么把目标检测、OCR、人流统计、语音识别等 AI 模型顺利地部署到端侧设备，并保证模型效果，在项目中至关重要。
智能辅助驾驶算法→ADAS
智能语音识别→小度音箱
“识万物”算法→手机百度
无人机跟踪算法→端侧硬件
人流统计算法→智能摄像头
人脸处理算法→好看小视频
然而，现实中智能终端硬件种类繁多、内存资源和计算资源相对有限，要完成模型在端侧的部署，一个巨大挑战是 AI 模型推理速度是否满足业务要求。很多时候，开发小伙伴们对比了各种推理引擎速度后，费了九牛二虎之力做模型转换和精度对齐，终于将模型在端上跑起来了，可是速度还是不太理想，然后又对模型做量化、剪枝、蒸馏等一系列的尝试，最后仰天长啸“坑……死……了……怎么还是这么慢！”
今天我们给大家带来的新升级的轻量化推理引擎 PaddleLite+模型压缩工具 PaddleSlim 正好可以解决上述端侧部署的痛点问题。
此次升级，轻量化推理引擎 Paddle Lite 通过多维度算子优化技术，性能有了大幅提高。经测试，算子性能在 ARM CPU v7与 v8 架构下，推理速度最高分别可以提升23.09%和23.33%。
再有 PaddleSlim 非结构稀疏剪枝和 INT8 量化能力的加持，使 Paddle Lite 的推理速度更进一步。经测试，在轻量级分类、检测、分割模型上使用 PaddleSlim 非结构化稀疏后，Paddle Lite 的推理加速达到20%～80%，部署模型体积减小22%～36%（精度损失0.2%～1.5%）；量化加速达到20%～50%，模型体积减少75%（精度损失0.2%～1.0%）。以 PicoDet-ShuffleNet-m 模型在骁龙835芯片上推理为例，通过 PaddleSlim 完成85%非结构化稀疏剪枝后，可以提升推理速度80%；使用 INT8 量化，可以提升推理速度35%。
话不多说，直接奉上开源代码实现👇
https://github.com/PaddlePaddle/Paddle-Lite
欢迎大家✨Star 收藏，深入研究使用。
更好地使用 Paddle Lite
在 AI 产业应用中，怎么将 AI 任务更好地落地到各种真实场景呢？Paddle Lite 团队联合百度搜索产品研发团队、百度视觉技术团队，从通用目标检测、软硬一体的人脸终端方案、百度 APP 业务实战三个具体的场景出发，全面剖析 AI 开发（模型选型-训练-验证-转换-部署）全流程，详解产业落地中端侧部署中的核心技术。3月28日-3月29日每晚20:30-21:30，我们不见不散。
快快扫码关注起来。微信扫码报名课程，即可加入官方技术交流群，在这里您可以获得更高效的问题答疑，与各行各业开发者充分交流，期待您的加入！更多飞桨的相关内容，请参阅以下内容。
生态建设欢迎你
自 Paddle Lite 开源以来，小伙伴们陆陆续续将 Paddle Lite 应用到各行各业中。感谢可爱的小伙伴们伴随 Paddle Lite 的成长，给予真诚的反馈，并积极投入到 Paddle Lite 的项目建设中。同时，真诚地邀请每一位开发者朋友加入 Paddle Lite 开源项目建设中来，站上中国 AI 舞台，共舞世界 AI 蓝图。
图片数据引用说明
【智能辅助驾驶场景】
辅助驾驶图像：源于百度飞桨 Paddle Lite https://github.com/PaddlePaddle/Paddlelite 和百度地图公开数据集
辅助驾驶硬件产品：https://cloud.baidu.com/product/hardware/edgeboard
【无人机监测跟踪场景】
无人机数据：https://github.com/ucas-vg/Anti-UAV
端侧硬件：https://cloud.baidu.com/product/hardware/edgeboard
【智能语音识别场景】
语音识别图像：https://cloud.baidu.com/product/speech/realtime_asr?track=cp:nsem|pf:pc|pp:nsem-chanpin-shishiyuyinshibie|pu:yuyinshibie-pinpaici|ci:|kw:10092197&bd_vid=3552446585807869652
小度音箱产品：https://dumall.baidu.com/
【智能人流统场景】
人流跟踪动图片段：数据来源于公开数据集：Milan A, Leal-Taixé L, Reid I, et al.MOT16: A benchmark for multi-object tracking[J]. arXiv preprintarXiv:1603.00831, 2016.
摄像头硬件：https://cloud.baidu.com/products/index.html
【手机百度 APP 场景】
识万物功能视频：使用百度 APP 实时录制
APP 图标来源：百度 APP
【人脸图像迁移场景】
APP 图标开源：好看小视频